8.1 序列模型

1. 序列数据

对于图像问题，CNN 的图像之间要求是独立同分布的，但现实很多数据都不是独立同分布的，因为数据的产生有时间先后，而后面的数据完全会依赖前面的数据，这种对于时序的数据，例如：

• 音乐、语音、文本和视频都是连续的。如果它们的序列被我们重排，那么就会失去原有的意义
• 人类之间的互动也是连续的，这可以从微博上的争吵和辩论中看出

我们的目标就是为了找到一个模型来拟合

2. 统计工具

2.1 自回归模型

所谓自回归模型，指的是用过去的数据来拟合未来的时间点，对条件概率建模：

建模的任务就变成：

• 找到合适的 $f$
• 找到合适的 $p$

方案 A：马尔科夫假设

假设当前的数据只和过去的 $\tau$ 个数据点有关，在这种假设下，可以构造一些结构化的数据，利用以前所有的机器学习或者深度学习方法来构造函数 $f$，利用 softmax 转化为概率:
利用马尔科夫假设构造确定特征数的结构化数据，可以用任意的机器学习技术

方案 B：潜变量模型

#TODO

参考文献